People capture photos and videos to relive and share memories of personal significance. Recently, media montages (stories) have become a popular mode of sharing these memories due to their intuitive and powerful storytelling capabilities. However, creating such montages usually involves a lot of manual searches, clicks, and selections that are time-consuming and cumbersome, adversely affecting user experiences. To alleviate this, we propose task-oriented dialogs for montage creation as a novel interactive tool to seamlessly search, compile, and edit montages from a media collection. To the best of our knowledge, our work is the first to leverage multi-turn conversations for such a challenging application, extending the previous literature studying simple media retrieval tasks. We collect a new dataset C3 (Conversational Content Creation), comprising 10k dialogs conditioned on media montages simulated from a large media collection. We take a simulate-and-paraphrase approach to collect these dialogs to be both cost and time efficient, while drawing from natural language distribution. Our analysis and benchmarking of state-of-the-art language models showcase the multimodal challenges present in the dataset. Lastly, we present a real-world mobile demo application that shows the feasibility of the proposed work in real-world applications. Our code and data will be made publicly available.
translated by 谷歌翻译
由于面向任务导向的对话系统在我们的生活中越来越受欢迎,提出并探索了更现实的任务。然而,出现了新的实际挑战。例如,由于在现有公共数据集中缺少这种情况,当前对话系统无法在查询数据库时有效处理多个搜索结果。在本文中,我们提出了数据库搜索结果(DSR)歧义,这是一个专注于消除数据库搜索结果的新任务,这通过允许它们从多个选项中选择了多个选项而不是只有一个来增强用户体验。为研究这项任务,我们增强了受到流行的面向任务的对话数据集(Multimoz和SGD),转弯,由(a)通过预定义的语法和(b)为子集收集人类释义的(b)来解析歧义。我们发现,我们的增强对话数据的培训提高了模型处理模糊方案的能力,而不会牺牲未修改的转弯。此外,即使在没有域名数据的情况下,也有助于我们的模型帮助我们的模型提高DSR消歧的性能,表明它可以被学习为普遍对话技能。我们的数据和代码将公开可用。
translated by 谷歌翻译
We study the problem of designing models for machine learning tasks defined on sets. In contrast to traditional approach of operating on fixed dimensional vectors, we consider objective functions defined on sets that are invariant to permutations. Such problems are widespread, ranging from estimation of population statistics [1], to anomaly detection in piezometer data of embankment dams [2], to cosmology [3,4]. Our main theorem characterizes the permutation invariant functions and provides a family of functions to which any permutation invariant objective function must belong. This family of functions has a special structure which enables us to design a deep network architecture that can operate on sets and which can be deployed on a variety of scenarios including both unsupervised and supervised learning tasks. We also derive the necessary and sufficient conditions for permutation equivariance in deep models. We demonstrate the applicability of our method on population statistic estimation, point cloud classification, set expansion, and outlier detection.
translated by 谷歌翻译
强化学习(RL)是一种机器学习范式,自主代理人通过与基础环境进行互动来学会做出最佳决策顺序。 RL引导的工作流在解开电子设计自动化问题中所证明的诺言鼓励硬件安全研究人员利用自动RL代理来解决特定领域的问题。从硬件安全性的角度来看,这种自主代理人可以在未知的对抗环境中产生最佳动作。另一方面,综合电路供应链的持续全球化迫使芯片制造成为离岸,不信任的实体,从而增加了对硬件安全性的担忧。此外,未知的对抗环境和增加的设计复杂性使后卫在检测攻击者(又称硬件木马)进行的微妙修改方面具有挑战性。在此简介中,我们概述了RL代理在检测硬件Trojans时的开发,这是最具挑战性的硬件安全问题之一。此外,我们概述了潜在的机会,并提出了应用RL解决硬件安全问题的挑战。
translated by 谷歌翻译
在综合电路制造过程中插入的隐形硬件木马(HTS)可以绕过关键基础架构的安全性。尽管研究人员提出了许多检测HTS的技术,但存在一些局限性,包括:(i)成功率低,(ii)高算法复杂性,以及(iii)大量的测试模式。此外,先前检测技术最相关的缺点源于不正确的评估方法,即,他们假设对手会随机插入HTS。这种不适当的对抗性假设使检测技术能够声称高HT检测准确性,从而导致“错误的安全感”。不幸的是,据我们所知,尽管关于检测在制造过程中插入的HTS的研究多了十年,但仍未进行对HT检测技术进行系统评估的协调努力。在本文中,我们扮演着现实的对手的角色,并通过使用加固学习(RL)开发自动化,可扩展和实用的攻击框架,质疑HT检测技术的功效。损耗逃避了两个HT检测类别的八种检测技术,展示了其不可知论行为。与随机插入的HTS相比,消耗量达到$ 47 \ times $ $ $ 47 \ times $ and $ 211 \ times $的平均攻击成功率。我们通过评估从广泛使用的学术套房到较大的设计(例如开源MIPS和MOR1KX处理器)到AES和AE AE和GPS模块等较大的设计,从而证明了损耗的逃避能力。此外,我们通过两个案例研究(特权升级和杀死开关)对MOR1KX处理器展示了损耗生成的HTS的影响。我们设想我们的工作以及发布的HT基准和模型,促进了更好的HT检测技术的发展。
translated by 谷歌翻译
在集成电路中插入硬件木马(HTS)是一个有害威胁。由于在罕见触发条件下激活HTS,因此使用随机逻辑模拟检测它们是不可行的。在这项工作中,我们设计了一个加固学习(RL)代理,该学习代理绕过指数搜索空间并返回最小的模式集,最有可能检测到HTS。各种基准测试的实验结果证明了我们的RL代理的功效和可扩展性,与国家相比,在维持或改善覆盖范围($ 95.75 \%$)的同时,所需的测试模式数量显着降低($ 169 \ times $)($ 169 \ times $)($ 169 \ times $)($ 169 \ times $)($ 95.75 \%$)。 - 艺术技术。
translated by 谷歌翻译
使用量子计算,本文解决了两个科学压迫和日常相关问题,即化学逆转录,这是半导体供应链的药物/材料发现和安全性的重要一步。我们表明,量子长短期内存(QLSTM)是逆转录合成的可行工具。我们使用QLSTM实现了65%的培训准确性,而经典的LSTM可以达到100%。但是,在测试中,我们使用QLSTM实现80%的精度,而经典LSTM仅以70%的精度达到峰值!我们还展示了量子神经网络(QNN)在硬件安全域中的应用,特别是使用一组功率和区域特洛伊木马功能在硬件特洛伊木马(HT)检测中。QNN模型可实现高达97.27%的检测准确性。
translated by 谷歌翻译